Ajuste fino (aprendizaje profundo)

En el aprendizaje profundo (deep learning), el ajuste fino es un enfoque para transferir el aprendizaje en el que los pesos de un modelo previamente entrenado se entrenan en datos nuevos.^[1]​ El ajuste fino se puede realizar en toda la red neuronal o solo en un subconjunto de sus capas, en cuyo caso las capas que no se ajustan se "congelan" (no se actualizan durante el paso de retropropagación ).^[2]​ Un modelo también se puede aumentar con "adaptadores" que constan de muchos menos parámetros que el modelo original, y ajustarse de manera eficiente en los parámetros ajustando los pesos de los adaptadores y dejando el resto de los pesos del modelo congelados.^[3]​

Para algunas arquitecturas, como las redes neuronales convolucionales, es común mantener congeladas las capas anteriores (las más cercanas a la capa de entrada) porque capturan características de nivel inferior, mientras que las capas posteriores a menudo distinguen características de alto nivel que pueden estar más relacionadas con la tarea en la que se entrena al modelo.^[2]​^[4]​

Los modelos que se entrenan previamente en corpus grandes y generales habitualmente se ajustan reutilizando los parámetros del modelo como punto de partida y agregando una capa específica de la tarea entrenada desde cero.^[5]​ El ajuste fino del modelo completo también es común y, a menudo, produce mejores resultados, pero es más costoso desde el punto de vista computacional.^[6]​

El ajuste fino generalmente se logra con el aprendizaje supervisado, pero también existen técnicas para ajustar un modelo utilizando una supervisión débil.^[7]​ El ajuste fino se puede combinar con un aprendizaje de refuerzo a partir del objetivo basado en la retroalimentación humana para producir modelos de lenguaje como ChatGPT (una versión mejorada de GPT-3 ) y Sparrow .^[8]​^[9]​

1. ↑ Quinn, Joanne (2020). Dive into deep learning: tools for engagement. Thousand Oaks, California. p. 551. ISBN 978-1-5443-6137-6. Consultado el 10 de enero de 2023. 
2. ↑ ^{a b} «CS231n Convolutional Neural Networks for Visual Recognition». cs231n.github.io. Consultado el 9 de marzo de 2023. 
3. ↑ . Advances in Neural Information Processing Systems 35. Curran Associates, Inc. 2022. pp. 1950-1965. 
4. ↑ Zeiler, Matthew D; Fergus, Rob (2013). Visualizing and Understanding Convolutional Networks. arXiv:1311.2901. 
5. ↑ Dodge, Jesse; Ilharco, Gabriel; Schwartz, Roy; Farhadi, Ali; Hajishirzi, Hannaneh; Smith, Noah (2020). Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping. arXiv:2002.06305. 
6. ↑ Dingliwal, Saket; Shenoy, Ashish; Bodapati, Sravan; Gandhe, Ankur; Gadde, Ravi Teja; Kirchhoff, Katrin (2021). Prompt Tuning GPT-2 language model for parameter-efficient domain adaptation of ASR systems. arXiv:2112.08718. 
7. ↑ Yu, Yue; Zuo, Simiao; Jiang, Haoming; Ren, Wendi; Zhao, Tuo; Zhang, Chao (2020). Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach. arXiv:2010.07835. 
8. ↑ «Introducing ChatGPT». openai.com. Consultado el 9 de marzo de 2023. 
9. ↑ Glaese, Amelia; McAleese, Nat; Trębacz, Maja; Aslanides, John; Firoiu, Vlad; Ewalds, Timo; Rauh, Maribeth; Weidinger, Laura et al. (2022). Improving alignment of dialogue agents via targeted human judgements. arXiv:2209.14375.  Se sugiere usar |número-autores= (ayuda)